Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use
模型自适应工具必要性揭示LLM工具使用中的知行鸿沟
🧭 Agent工具使用决策·元认知检测 ★ 深度解读
University of Maryland, College Park
基于模型能力重新定义工具必要性，发现LLM内部认知与实际行动脱节，错配主因在认知到行动的转换阶段
📌 工作参考价值（4 点）
- 1. 在电商Agent/多智体场景中，评估工具调用必要性时应改用模型自适应的阈值，而非人工静态标注——用多个采样运行的一致性（如N=10, T=0.7）判断模型是否真正需要工具，更贴合实际部署。
- 2. 可以通过隐藏状态线性探测快速诊断工具调用错配的根源：是模型认知不到必要（阶段1），还是认知到了但执行失败（阶段2）。若阶段2占比高，无需重新微调认知，重点应放在后期层对齐。
- 3. 后期层中认知与行动方向近乎正交，提示可在训练时加入对齐正则项，或在推理时对最后几个token的残差流进行干预（如转向认知方向），强制知行一致，减少无谓工具调用。
- 4. 系统设计里，与其依赖显式自我评估（会大幅改变行为），不如直接监测内部状态来触发工具，避免知行鸿沟，这对需要高可靠性的搜索、计算类工具尤其有用。